Era una posesión de los condes de Cerdanya alrededor del cambio de milenio. En el siglo XII cambió de manos, por motivos de herencia, pasando el casal de Barcelona.

Los castellanos de finales del siglo XII y principios del XIII eran miembros del linaje de los Malacara. En la segunda mitad del siglo XIII serán los Cardona los que tendrán el control de la fortaleza como feudatarios de la casa real. Pero cuando se crea el condado de Cardona, en 1375, el castillo figura como patrimonio de esta familia, que tuvo como castellanos a la familia Rabinat y posteriormente a los Sabater.

En 1822, el conde de la Mina, persiguiendo la Regencia de Urgel, ocupó y arrasó el pueblo de Castellfollit e hizo volar el castillo.

El castillo aún domina la población desde la cima de la colina, adaptándose a la morfología del terreno. Su planta es irregular, llegando a más de 100 metros de longitud y con una anchura que va desde los 10 hasta los 22 metros. Parece que se levantó aprovechando parte de la muralla de una fortaleza andalusí.

El sector más occidental corresponde al recinto superior. Allí encontramos los restos de una torre circular, que probablemente era la torre maestra del castillo. Está hecha con sillares rectangulares distribuidos en hileras irregulares, unidos con mortero de arena y cal. Todo parece indicar que este es el origen del castillo medieval que hoy conocemos y fue edificada a finales del siglo XI o principios del XII.

En el otro extremo encontramos el recinto inferior. En él aún se conservan un conjunto de estancias, algunas subterráneas. Formaban parte de la zona residencial de la fortaleza.

La sala más notable se encuentra en el extremo más septentrional de la fortificación. Es una cámara rectangular, cubierta con una bóveda apuntada, reforzada con cuatro arcos ojivales.

Junto a esta sala, en un nivel ligeramente superior, encontramos los restos de otra grandes sala. En este caso sólo se conserva una parte de su cubierta apuntada. Este espacio se ha identificado como la capilla del castillo, dedicada a San Vicente. Sin embargo, esta identificación no es concluyente, pues no hay elementos arquitectónicos característicos de un templo como pueden ser ventanas, ábside, campanario, elementos decorativos ... De todos modos, parece evidente que el templo tenía que estar construido en este sector y una estancia de estas características encaja perfectamente.

El templo aparece documentado por primera vez en 1027, en el testamento de Rotrudis, mujer de Guiferd, señor del castillo. En 1096, Hugo Dalmau de Cervera, en su testamento, puso la capilla bajo la tutela del priorato de Santa María de Castellfollit. Unos años más tarde, en 1107, su hijo Ponç de Corbera, cedió la iglesia a un tal Guitard, con la condición de que mantuviera el culto, que proveyera de la tercera parte del pan, del vino y del grano y también que diera de comer y beber a los monjes y criados de Santa María el día de San Vicente. Mantuvo el culto al menos hasta el siglo XVIII.

Perpendicular al templo hay otra estancia, más bien es un pasillo, cubierta también con una bóveda apuntada.

A ambos lados de esta sala hay dos habitáculos. El del lado este es de reducidas dimensiones y está cubierto con una bóveda de cañón. Esta estancia forma es la base de una torre de planta cuadrada.

Al oeste encontramos una sala rectangular y cubierta con una bóveda apuntada. Todo parece indicar que este espacio era utilizado como prisión.

Los muros aún conservan buena parte del revoque con que estaban recubiertos. Sobre este rebozado hay unos interesantísimos grafitis hechos durante los siglos XIII y XIV. Son escenas de tipo bélico donde vemos recintos amurallados, soldados, caballeros y una máquina de asalto. Uno de los caballeros lleva las armas de los Cardona.

La puerta de acceso al recinto amurallado se encuentra en el muro este, aprovechando un saliente poligonal de la muralla, a modo de barbacana.

Como ya hemos comentado, los lienzos de muralla se construyeron, muy probablemente, aprovechando buena parte de una construcción musulmana. Su paramento tiene dos partes claramente diferenciadas. La parte inferior está realizada con sillares escuadrados y que forman hileras regulares. La parte superior está formada a base de rocalla unido con arena y cal.

Completan el conjunto defensivo dos torres albarranas, situadas en los cerros cercanos. Situada en el noroeste del castillo encontramos la torre del Ballester o conocida también como de en Ballet. Recientemente ha sido excesivamente restaurada, dotándola de un aspecto demasiado nuevo. Tiene planta circular de unos 8,5 metros de diámetro y más de 14 metros de altura. Sus muros tienen un ancho de dos metros y medio. El espacio interior está dividido en tres pisos, cubiertos con cúpulas semiesféricas. Una escalera adosada al muro permite la comunicación entre plantas.

Al sur de la fortificación encontramos la torre del Raval. Tiene unos 12 metros de altura y una planta poligonal por el exterior y trapezoidal por el interior. También está dividida en tres pisos y una azotea. La división de las plantas era hecho por techos de madera, a excepción del último piso, cubierto con una bóveda de medio punto.